Wybudowany na ruinach, zniszczonego przez Henryka II Angielskiego, typowego Normańskiego zamku o konstrukcji „bailey and motte” - zamek pozbawiony był swojej głównej i zarazem centralnej części – keep'u a zamiast tego dookoła zamku został wybudowany potężny mur obronny i wbudowane w niego 13 wież. Pomimo potęgi murów, w 1216 roku po krótko trwającym oblężeniu, zamek został pokonany i zajęty przez króla Jana I („King John”, lub inne polskie tłumaczenie „Jan Bez Ziemi”) by jeszcze przed końcem trzynastego wieku stać się luksusową rezydencją, otoczoną hektarami parków i lasów gdzie organizowane były polowania. W XV i XVI wieku zamek był sercem potężnego majątku wpływowych rodzin Mowbray i Howard. Za ich czasów wykopano na przylegających do zamku terenach, dwa sztuczne jeziora. Na utrzymanie zamku i mieszkających w nich rodzin, - jak można zresztą przypuszczać, wydawano ogromne sumy. Luksusowe towary skupowano i zwożono do zamku z terenów całej Anglii, a także od zamorskich kopców. Łatwo też sobie wyobrazić, że zarówno to jak i utrzymanie samej budowli musiało wymagać potężnych nakładów finansowych ze strony właściciela. Ostatni z nich, Theofilus Howard, 2 Hrabia Suffolk, nie będąc w stanie sprostać potężnym kosztom utrzymania, pod koniec XVI wieku został zmuszony do sprzedaży zarówno zamku jak i przylegających do niego ziem. Dalej już nie było tak pięknie... W 1636 roku zamek został przekazany jako „datek” na rzecz Pembroke College. Wkrótce potem jego wewnętrzne budynki zostały rozebrane, żeby zrobić miejsce pod budowę przytułku dla biedoty. Zamek był używany w tym celu aż do 1839, kiedy wyżej wymieniony przybytek został zamknięty. Na początku XX wieku Pembroke College, prawdopodobnie chcąc pozbyć się „ciężaru”, przekazał zamek Brytyjskiemu Ministerstwu Prac Publicznych i Budownictwa. W czasie II wojny światowej, zamek znajdował się w rekach wojska, jako jeden z ośrodków obrony regionalnej, mającym na celu odpierać potencjalne ataki nazistów. Jak większość brytyjskich zamków, tak i Framlingham, znajduje się obecnie we władaniu English Heritage i dostępny jest dla zwiedzających.